Le château d'Allauch a été construit de 1141 à 1148 par les chanoines de la cathédrale de la Major de Marseille, et c'est en 1148 qu'est édifiée la chapelle dédiée à Notre-Dame. Les chanoines seront les seigneurs de la ville jusqu'à la Révolution Française. La population se regroupe dans la bastide fortifiée sous la protection et l'autorité des chanoines jusqu'au XVe siècle où le village se forme au pied de la colline. Le castrum d'Allauch a été démantelé en 1595 à l'exception de la chapelle Notre-Dame du Château. Aujourd'hui il ne reste que des vestiges de l'enceinte avec la tour d'angle bastionnée demi-circulaire ainsi qu'une tour carrée et la très belle poterne. Quatre oratoires jalonnent le sentier du château d'Allauch, dans la montée vers la chapelle Notre-Dame, ils sont dédiés à Saint Antoine, Saint Blaise, Saint Sébastien et Saint Vincent. Les remparts et la chapelle Notre-Dame du Château d'Allauch sont inscrits à l'inventaire des Monuments Historiques depuis le 28 décembre 1984.